iT邦幫忙

2024 iThome 鐵人賽

DAY 30
0
DevOps

從 AWS 轉生到 GCP 世界,還順便轉職成 DevOps 的 SRE系列 第 30

將 Infra 從 Code-Base 改為 Cloud-Resource-Base Part9

  • 分享至 

  • xImage
  •  

最後一篇記錄一下最後改用 execution 的方式執行 workbench 以及之後的實際任務。

我在搬動正式環境到新的 Resources 的時候其實沒有很順利。我原本想像只要將 conda environment-alvin.yml 匯出就好了。所以用了以下指令。 但 dependency 跟初始image 環境差很多,所以會造成安裝套件失敗

conda env export > environment-alvin.yml 

後來我是一次次的執行檔案,看缺什麼套件再一個個安裝

pip install --upgrade torchvision
pip install opencc-python-reimplemented paddleocr paddlepaddle==2.5.2 datasets==2.14.0 fsspec==2024.6.1 config pydantic pydantic-settings numpy
pip install openpyxl

說到搬檔案,這邊也提供一些 script,先壓縮 folder

tar -czvf compressed_folder.tar.gz temp

先將過去檔案發送到 home folder

gcloud compute scp --recurse --project=xxx --zone=asia-east1-a \
compressed_folder.tar.gz alvin_linpy_xxx_com@instance-20241014-152005:~/

再轉送到 juypter 下

gcloud compute ssh instance-20241014-152005 --project=xxx --zone=asia-east1-a
# 解壓縮
tar -xzvf ~/compressed_folder.tar.gz

overall: https://cloud.google.com/vertex-ai/docs/workbench/instances/introduction

介面上進行 execution: https://cloud.google.com/blog/products/ai-machine-learning/schedule-and-execute-notebooks-with-vertex-ai-workbench

cli 文件,focused在實例管理上:https://cloud.google.com/vertex-ai/docs/workbench/reference/rpc/google.cloud.notebooks.v2


上一篇
將 Infra 從 Code-Base 改為 Cloud-Resource-Base Part8
系列文
從 AWS 轉生到 GCP 世界,還順便轉職成 DevOps 的 SRE30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言